No Free Lunch定理

zhihu
没有一种通用的学习算法可以在各种任务中都有很好的表现，需要对具体问题进行具体的分析。从原理出发去理解AI算法可以能够对AI相关的问题有更深刻的认识，像这种基于严格数学证明推导出的结论，尤其值得重视。

Q: 如何看待transformer在nlp和cv都在大放光彩这件事呢？ 目前也经常提到多模态的“大一统”和no free lunch 是否冲突呢？ 有大佬可以解释解释嘛
A: transfomer的优异表现说明以attention为核心的特征提取方式很有效，包括多模态模型的本质也是尽可能从不同的模态数据中提取更多信息，我觉得这些是属于模型架构。 而no free lunch表示的应该是当模型对于taskA的数据进行大规模训练和学习后，会导致模型在taskA上表现优异，但是这个的模型参数放到taskB中，就会有可能表现异常糟糕，所以，不存在一个通用的模型参数能应对任何任务和数据